Vào tháng 6 năm 1951, phó của Abakumov, Mikhail Ryumin, đã viết thư cho Stalin với cáo buộc rằng Abakumov không làm hết trách nhiệm để chống lại người Do Thái.[9] Sản phẩm trí tuệ của Ryumin là Âm mưu của Bác sĩ. Abakumov và một số sĩ quan MGB cao cấp khác đã bị bắt giữ. Vào tháng 3 năm 1953, Stalin qua đời, Beria giành lại quyền kiểm soát cảnh sát và Ryumin bị bắt. Beria và Ryumin sau đó đều bị xử bắn, nhưng Abakumov và các cộng sự vẫn ở trong tù.

Abakumov và năm người khác đã bị đưa ra xét xử sáu ngày vào tháng 12 năm 1954, bị buộc tội làm sai lệch 'Vụ Leningrad'. Abakumov và ba cựu phó trưởng phòng MGB để điều tra các vụ án đặc biệt quan trọng, AG Leonov, VI Komarov và MT Likhachev, đã bị kết án tử hình và bị bắn sau khi phiên tòa kết thúc vào ngày 19 tháng 12.